Author : Yu Chen(alohachen) of Tencent Security Xuanwu Lab

0x00 简介

随着LLM应用的广泛普及，用户对提示词中的隐私信息泄漏的担忧日益增加。我们首次提出了一种可部署在端侧的提示词隐私保护方案，并对其安全性和可用性进行了评估。与安全多方计算（MPC）和Presidio等方案相比，我们的方案具有轻量化、端到端，支持匿名信息还原等优点。

0x01 技术背景

近年来，大型语言模型（Large Language Models, LLMs）如ChatGPT在自然语言处理（Natural Language Processing, NLP）领域取得了显著成就，广泛应用于文本摘要、编辑润色、机器翻译以及阅读理解等众多传统NLP任务中。这一趋势促使越来越多的企业探索基于LLM的服务方案。然而，随着LLM应用的广泛普及，用户对数据隐私的担忧日益增加。这些担忧主要源于用户与云端大型模型交互的提示词（Prompts）中可能泄露的个人或企业的隐私敏感信息。
在LLM应用中提示词是一种自由文本（Free Text），而针对自由文本的隐私保护问题，一种全密态的解决方案是通过安全多方计算（Multi-Party Computation, MPC）协议实现安全推理。然而，MPC协议在计算成本和通信量上的高需求严重限制了其在LLM应用中的落地。实际上，多数场景下用户并不需要保护所有提示词信息，而仅需要保护提示词中的隐私实体不被泄漏。以微软的数据隐私保护SDK Presidio为代表的隐私实体匿名化技术为解决这一问题提供了一种相对MPC更高效的匿名化脱敏方案。然而这种传统的匿名化处理方法无法在LLM生成的结果中还原出被替换的隐私敏感信息，从而限制了其可用性及准确性。

0x02 方案概述

为了使得传统匿名化技术可以从LLM生成的结果中还原出原始的敏感数据，需要解决命名实体识别，实体等位替换、实体指代消解、多义词辨析、自纠错鲁棒性还原、实体翻译等技术难点。我们在经过了正则匹配、近义词向量、BERT NER+CR等方法的不断探索试错后，提出了一种端到端的且可部署在端侧的提示词隐私保护方案。该方案在正常调用云端LLM服务流程中插入了两个在端侧执行的步骤：

1）平行替换隐私实体以实现隐私敏感信息的脱敏

2）还原云端LLM输出中的隐私实体以恢复可用性

该方案能够在保护敏感信息隐私的同时保证生成输出的可用性，并且最小化计算开销。通过部署在端侧的小模型实现了用户无干预下的自动化脱敏和还原，以端到端的方式隐藏了命名实体识别、指代消解、文本生成等中间步骤。

为实现上述功能，我们标注了大量的替换与还原的平行语料数据集，训练了一个权重文件仅500MB的小模型。目前，我们已成功将该模型在手机和笔记本上进行了部署实验。经测试，仅使用CPU的情况下，MacBook M2笔记本的推理速度为 180-200 tokens/s，MacBook M1笔记本的推理速度 110-130 tokens/s，Pixel 8 Pro手机的推理速度为20-30 tokens/s。目前原生支持的NLP任务类型有：润色，摘要，翻译，阅读理解和文本分类，并且支持Zero Shot的自定义扩展任务。

1. MacBook M2演示视频

2. Pixel 8 Pro演示视频

0x03 与同类型解决方案对比

Presidio方案

微软开源的数据脱敏与隐私保护SDK Presidio采用了正则匹配结合本地命名实体识别小模型（NER Model）识别隐私词，并采用全Lable标签对隐私词进行替换。其工作流程如下图所示：

从工作流程分析来看，Presidio方案不支持匿名信息的还原，也无法进行指代消解。因为采用了全标签替换的方法，导致其对原始文本中提示词的语言表达能力较弱，这可能对云端的大型语言模型的性能产生负面影响。再者，Presidio在识别隐私信息时需要依赖复杂的正则表达式匹配规则，这使得维护工作变得更加困难。

我们方案的优势

我们的方案采用大量端到端标注数据基于开源模型Bloom训练了一个集隐私词发现和替换功能于一体的且支持隐私词还原的微调模型。我们的方案支持匿名信息还原，也支持指代消解，由于采用标签和同近义词相混合的掩码方式从而最大限度保留了原提示词中的语义信息。最后，我们的方案不需要维护任何正则匹配规则，维护工作简单。

是否支持匿名信息还原 是否支持指代消解 匿名化后语意保持能力 是否需要维护正则匹配规则 端侧模型权重大小
我们的方案 是 是 强 否 约500MB
微软Presidio 否 否 弱 是 约500MB

0x04 安全和可用性评估

为了定量评估我们方案的隐私保护性能，我们假设了黑盒和白盒两种攻击场景。针对这两种场景，我们分别训练了两个敌手模型来执行解密攻击，并根据攻击结果对隐私保护能力进行评分。未来我们计划采用对抗学习的方法针对攻击模型进行进一步的安全对齐。

此外，我们还以翻译和分类任务为例，设计了可用性实验，以评估在使用该方案后是否对执行任务的性能造成了显著影响。结果表明使用我们方案后翻译任务性能掉点在5%以内，而分类任务不仅没有掉点反而性能有所提升。

这两组实验的结果表明，我们的方案可以在保护隐私的同时又不牺牲很多的可用性。

注：以上测试评估的是英文版本的基线，具体细节请参考我们的论文。

0x05 示例效果展示

摘要示例：

11月22日下午，OpenAI在X（原推特）上发文宣布，山姆·奥特曼（Sam Altman）将正式回归OpenAI，重新担任CEO，同时OpenAI的董事会将迎来重组。具体来看，Salesforce联席CEO布雷特·泰勒、前美国财政部部长、颇具影响力的美国经济学家拉里·萨默斯和Quora CEO亚当·德安吉洛（Adam D’Angelo）将组成新的初始董事会成员。这三人组合之中，只有亚当·德安吉洛是OpenAI原六人董事会成员，而且在传言中，是他主导策划了奥特曼的罢免事件。OpenAI还表示，更多细节有待公布。两分钟后，奥特曼转发了这则消息并附上两个爱心和一个“敬礼”的表情。

本地脱敏 ->

12月30日早晨，DeepMind在Y（原脸书）上发文宣布，约瑟夫·安德森（Joseph Anderson）将正式回归DeepMind，重新担任CEO，同时DeepMind的董事会将迎来重组。具体来看，Oracle联席CEO詹姆斯·沃克、前英国财政部部长、颇具影响力的英国经济学家约翰·史密斯和Innove CEO罗伯特·约翰逊（Robert Johnson）将组成新的初始董事会成员。这三人组合之中，只有罗伯特·约翰逊是DeepMind原七人董事会成员，而且在传言中，是他主导策划了安德森的罢免事件。DeepMind还表示，更多细节有待公布。三分钟后，安德森转发了这则消息并附上三个爱心和一个“敬礼”的表情。

云端摘要 ->

DeepMind宣布约瑟夫·安德森将回归担任CEO，同时公司董事会将重组。新董事会成员包括Oracle联席CEO詹姆斯·沃克、前英国财政部部长约翰·史密斯和Innove CEO罗伯特·约翰逊。

本地还原 ->

OpenAI宣布山姆·奥特曼将回归担任CEO，同时公司董事会将重组。新董事会成员包括Salesforce联席CEO布雷特·泰勒、前美国财政部部长拉里·萨默斯和Quora CEO亚当·德安吉洛。

阅读理解示例：

腾讯第三季度财务成本同比增长了多少？：11月15日，腾讯控股（00700.HK）发布了2023年第三季度财报。本季度腾讯实现营收1546.3亿元，同比增长10%；净利润（Non-IFRS）449.2亿元，同比增长39%。分业务来看，腾讯2023年第三季度增值服务业务营收为757亿元，同比增长4%；网络广告收入257亿元，同比增长20%；金融科技和企业服务收入达到510亿元，同比增长14%。腾讯2023年第三季度毛利为765亿元，毛利率49%。腾讯2023年第三季度销售及市场推广成本为79亿元，同比增长11%，反映腾讯在游戏及长视频内容方面的推广及广告力度加大。以收入百分比计，销售及市场推广开支较2022年同期大致稳定在5%。腾讯2023年第三季度一般及行政开支为263亿元，同比大致保持稳定。腾讯2023年第三季度财务成本为28亿元，同比增长43%，主要由于本季确认的汇兑收益下降，以及利息开支增加，但后者影响较小。

本地脱敏 ->
阿里巴巴第二季度财务成本同比增长了多少？：9月23日，阿里巴巴控股（00888.HK）发布了2022年第二季度财报。本季度阿里巴巴实现营收2387.6亿元，同比增长12%；净利润（Non-IFRS）689.4亿元，同比增长45%。分业务来看，阿里巴巴2022年第二季度增值服务业务营收为1050亿元，同比增长7%；网络广告收入400亿元，同比增长25%；金融科技和企业服务收入达到820亿元，同比增长18%。阿里巴巴2022年第二季度毛利为1570亿元，毛利率52%。阿里巴巴2022年第二季度销售及市场推广成本为100亿元，同比增长13%，反映阿里巴巴在游戏及长视频内容方面的推广及广告力度加大。以收入百分比计，销售及市场推广开支较2021年同期大致稳定在6%。阿里巴巴2022年第二季度一般及行政开支为500亿元，同比大致保持稳定。阿里巴巴2022年第二季度财务成本为40亿元，同比增长55%，主要由于本季确认的汇兑收益下降，以及利息开支增加，但后者影响较小。

云端阅读理解 ->
阿里巴巴2022年第二季度财务成本同比增长了55%。

本地还原 ->
腾讯2023年第三季度财务成本同比增长了43%。

润色示例：

我是《光刻机光学系统》项目的负责人赵伟杰。项目资料在我们的内部网站，网址是www.futuretechsolutions.com。你如果有任何疑问或想深入了解项目细节，可以发邮件到project@futuretechsolutions.com。我们还有一个专门的项目团队讨论组，想加入可以联系我，我的办公电话是 17191096009，或者加我工作微信，号是 ZhaoWeijie2023，我经常在微信上分享项目的最新进展和重要信息。

本地脱敏 ->

我是《科技创新1》项目的负责人李明华。项目资料在我们的内部网站，网址是 www.example1.com。 你如果有任何疑问或想深入了解项目细节，可以发邮件到 user1@mail.com。我们还有一个专门的项目团队讨论组，想加入可以联系我，我的办公电话是 18263549112，或者加我工作微信，号是 LiMinghua2023，我经常在微信上分享项目的最新进展和重要信息。

云端润色 ->

我是《科技创新1》项目的负责人李明华。项目资料在我们的内部网站，网址是www.example1.com。如果您有任何疑问或想深入了解项目细节，请随时发邮件至user1@mail.com。我们还有一个专门的项目团队讨论组，若您想加入，请随时联系我，我的办公电话是18263549112，或者添加我的工作微信，微信号为：LiMinghua2023。我经常在微信上分享项目的最新进展和重要信息。

本地还原 ->

我是《光刻机光学系统》项目的负责人赵伟杰。项目资料在我们的内部网站，网址是www.futuretechsolutions.com。如果您有任何疑问或想深入了解项目细节，请随时发邮件至project@futuretechsolutions.com。我们还有一个专门的项目团队讨论组，若您想加入，请随时联系我，我的办公电话是17191096009，或者添加我的工作微信，微信号为：ZhaoWeijie2023。我经常在微信上分享项目的最新进展和重要信息。

中译英示例：

华纳兄弟影业（Warner Bro）著名的作品有《蝙蝠侠》系列、《超人》系列、《黑客帝国》系列和《指环王》系列。目前华纳未考虑推出《蝙蝠侠》系列新作。

本地脱敏 ->

迪士尼影业（Disney Studios）著名的作品有《艺术作品1》系列、《艺术作品2》系列、《艺术作品3》系列和《艺术作品4》系列。目前迪士尼未考虑推出《艺术作品1》系列新作。

云端中译英 ->

Disney Studios has famous works in the “Artwork 1” series, “Artwork 2” series, “Artwork 3” series, and “Artwork 4” series. Currently, Disney is not considering launching a new work in the “Artwork 1” series.

本地还原 ->

Warner Brothers has famous works in the “Batman” series, “Superman” series, “The Matrix” series, and “The Lord of the Rings” series. Currently, Warner is not considering launching a new work in the “Batman” series.

新闻分类示例：

据央视新闻，美国财政部长耶伦13日表示，亚太经济合作组织（APEC）经济体处于全球经济的中心。

本地脱敏 ->
据BBC新闻，英国财政部长约翰逊20日表示，欧盟经济组织（EU）经济体处于全球经济的核心。

云端新闻分类 ->
经济新闻

本地还原 ->
经济新闻

情感分析示例：

德庄火锅银石广场店，带朋友路过看到了环境，觉着特别干净就点了外卖，点了“嗨享派对工作日四人餐”。不用排队去店里吃真的很棒，尤其牛肉不错，配料干净打包干净食物新鲜。

本地脱敏 ->

华府烧烤铜锣湾分店，带同事经过时看见了景象，感觉相当整洁就选择了快餐，选了“狂欢夜工作日五人套餐”。无需排长队去店里用餐真的太棒了，尤其是猪肉口感超级棒，配菜清洁包装清洁食品新鲜。

云端情感分析 ->
正面

本地还原 ->
正面

0x06 模型权重开放方式

为了贡献于开源社区的发展，我们已将通用版本的中文模型权重发布至Hugging Face。同时，针对那些对安全与隐私保护有更高标准、追求卓越性能以及特定垂直领域需求的用户，我们诚邀您与我们联系，以探讨更深入的商业合作机会。